Vision Transformers (ViTs) outperforms convolutional neural networks (CNNs) in several vision tasks with its global modeling capabilities. However, ViT lacks the inductive bias inherent to convolution making it require a large amount of data for training. This results in ViT not performing as well as CNNs on small datasets like medicine and science. We experimentally found that masked autoencoders (MAE) can make the transformer focus more on the image itself, thus alleviating the data-hungry issue of ViT to some extent. Yet the current MAE model is too complex resulting in over-fitting problems on small datasets. This leads to a gap between MAEs trained on small datasets and advanced CNNs models still. Therefore, we investigated how to reduce the decoder complexity in MAE and found a more suitable architectural configuration for it with small datasets. Besides, we additionally designed a location prediction task and a contrastive learning task to introduce localization and invariance characteristics for MAE. Our contrastive learning task not only enables the model to learn high-level visual information but also allows the training of MAE's class token. This is something that most MAE improvement efforts do not consider. Extensive experiments have shown that our method shows state-of-the-art performance on standard small datasets as well as medical datasets with few samples compared to the current popular masked image modeling (MIM) and vision transformers for small datasets.The code and models are available at https://github.com/Talented-Q/SDMAE.

Facial expression recognition (FER) plays a significant role in the ubiquitous application of computer vision. We revisit this problem with a new perspective on whether it can acquire useful representations that improve FER performance in the image generation process, and propose a novel generative method based on the image inversion mechanism for the FER task, termed Inversion FER (IFER). Particularly, we devise a novel Adversarial Style Inversion Transformer (ASIT) towards IFER to comprehensively extract features of generated facial images. In addition, ASIT is equipped with an image inversion discriminator that measures the cosine similarity of semantic features between source and generated images, constrained by a distribution alignment loss. Finally, we introduce a feature modulation module to fuse the structural code and latent codes from ASIT for the subsequent FER work. We extensively evaluate ASIT on facial datasets such as FFHQ and CelebA-HQ, showing that our approach achieves state-of-the-art facial inversion performance. IFER also achieves competitive results in facial expression recognition datasets such as RAF-DB, SFEW and AffectNet. The code and models are available at https://github.com/Talented-Q/IFER-master.

本文介绍了蒙古人的高质量开源文本到语音（TTS）合成数据集，蒙古是一种低资源的语言，该语言是全球超过1000万人所讲的。该数据集名为MNTTS，由一位22岁专业女性蒙古播音员说的大约8个小时的录音录音组成。它是第一个开发的公开数据集，旨在促进学术界和行业中的蒙古TTS应用程序。在本文中，我们通过描述数据集开发程序并面临挑战来分享我们的经验。为了证明数据集的可靠性，我们建立了一个基于FastSpeech2模型和HIFI-GAN Vocoder的强大的非自动回调基线系统，并使用主观平均意见分数（MOS）和实时因素（RTF）指标对其进行了评估。评估结果表明，在我们的数据集上训练的功能强大的基线系统可在4和RTF上获得MOS，大约3.30美元\ times10^{ - 1} $，这使其适用于实际使用。数据集，培训配方和预估计的TTS模型是免费可用的\ footNote {\ label {github} \ url {https://github.com/walker.com/walker-hyf/mntts}}}。

基于图形的模型最近在人的重新识别任务中取得了巨大的成功，该任务首先计算了不同人之间的图形拓扑结构（亲和力），然后将信息传递给他们的信息以实现更强的功能。但是，我们在可见的红外人员重新识别任务（VI-REID）中发现了现有的基于图的方法，因为有两个问题：1）火车测试模式平衡差距，这是VI-REID任务的属性。两个模式数据的数量在训练阶段平衡，但推理极为不平衡，导致基于图的VI-REID方法的概括较低。 2）由图形模块的端到端学习方式引起的亚最佳拓扑结构。我们分析训练有素的输入特征会削弱图形拓扑的学习，从而使其在推理过程中不够概括。在本文中，我们提出了一种反事实干预特征转移（CIFT）方法来解决这些问题。具体而言，均匀和异质的特征转移（H2FT）旨在通过两种独立的设计的图形模块和不平衡的场景模拟来减少火车测试模态差距。此外，提出了反事实关系干预（CRI）来利用反事实干预和因果效应工具来突出拓扑结构在整个训练过程中的作用，这使图形拓扑结构更加可靠。对标准VI-REID基准测试的广泛实验表明，CIFT在各种设置下都优于最新方法。

利用在大规模图像文本对中预先训练的视觉和语言模型（VLM）成为开放式视觉识别的有希望的范式。在这项工作中，我们通过利用视频中自然存在的运动和音频来扩展这种范式。我们提出\ textbf {mov}，这是\ textbf {m} ult-imodal \ textbf {o} pen- \ textbf {v} ocabulary视频分类的简单而有效的方法。在MOV中，我们直接使用具有最小修改的预训练VLM的视觉编码器来编码视频，光流和音频频谱图。我们设计一种跨模式融合机制来汇总免费的多模式信息。 Kinetics-700和VGGSOUND的实验表明，引入流量或音频模态会带来预先训练的VLM和现有方法的大量性能增长。具体而言，MOV极大地提高了基础类别的准确性，而在新颖的课程上则更好地概括了。 MOV在UCF和HMDB零摄像视频分类基准上实现了最新结果，从而极大地超过了基于VLMS的传统零摄像方法和最新方法。代码和模型将发布。

皮肤病变的准确和公正检查对于早期诊断和治疗皮肤疾病至关重要。皮肤病变的视觉特征明显差异，因为图像是通过使用不同的成像设备从具有不同病变颜色和形态的患者中收集的。最近的研究报告说，结合卷积神经网络（CNN）是实用的，可以对图像进行分类以早期诊断皮肤疾病。但是，这些连接的CNN的实际使用受到限制，因为这些网络是重量级的，并且不足以处理上下文信息。尽管开发了轻量级网络（例如MobileNetV3和ExcilityNet），以减少参数来实现移动设备上的深神经网络，但功能表示深度不足会限制性能。为了解决现有的局限性，我们开发了一个新的精简神经网络，即Hierattn。 Hierattn采用了一种新颖的深度监督策略，通过使用只有一种训练损失的多阶段和多分支注意力机制来学习本地和全球特征。通过使用皮肤镜图像数据集ISIC2019和智能手机照片数据集PAD-FIFES-20（PAD2020）评估Hierattn的功效。实验结果表明，Hierattn在最先进的轻量级网络中达到了曲线（AUC）下最佳的精度和面积。该代码可从https://github.com/anthonyweidai/hierattn获得。

从原始理论上明确定义的频谱图卷积到随后的空间扰动消息传递模型，空间局部（在顶点域中）充当大多数图形神经网络（GNN）的基本原理。在频谱图卷积中，过滤器由多项式近似，其中$ k $-oder多项式涵盖$ k $ -hop邻居。在消息传递中，聚合中使用的各种邻居定义实际上是对空间局部信息的广泛探索。对于学习节点表示，拓扑距离似乎是必要的，因为它表征了节点之间的基本关系。但是，对于学习整个图表的陈述，是必要的吗？在这项工作中，我们表明，不需要这样的原则，它会阻碍大多数现有的GNN，从有效地编码图形结构。通过删除它，以及多项式滤波器的限制，由此产生的新架构在学习图表表示上显着提高了性能。我们还研究了图谱对信号的影响，并将各种现有改进解释为不同的频谱平滑技术。它用作空间理解，以定量测量频谱对输入信号的影响，与众所周知的光谱理解为高/低通滤波器。更重要的是，它在开发强大的图形表示模型上阐明了光线。

现代自我监督的学习算法通常强制执行跨视图实例的表示的持久性。虽然非常有效地学习整体图像和视频表示，但这种方法成为在视频中学习时空时间细粒度的特征的子最优，其中场景和情况通过空间和时间演变。在本文中，我们介绍了上下文化的时空对比学习（Const-CL）框架，以利用自我监督有效学习时空时间细粒度的表示。我们首先设计一种基于区域的自我监督的借口任务，该任务要求模型从一个视图中学习将实例表示转换为上下文特征的另一个视图。此外，我们介绍了一个简单的网络设计，有效地调和了整体和本地表示的同时学习过程。我们评估我们对各种下游任务和CONST-CL的学习表现，实现了四个数据集的最先进结果。对于时空行动本地化，Const-CL可以使用AVA-Kinetics验证集的检测到框实现39.4％的地图和30.5％地图。对于对象跟踪，Const-CL在OTB2015上实现了78.1％的精度和55.2％的成功分数。此外，Const-CL分别在视频动作识别数据集，UCF101和HMDB51上实现了94.8％和71.9％的前1个微调精度。我们计划向公众发布我们的代码和模型。

这项工作提出了一个名为TEG的自我监督的学习框架，探讨学习视频表示中的时间粒度。在TEG中，我们从视频中抽出一个长剪辑，以及在长夹内部的短夹。然后我们提取密集的时间嵌入品。培训目标由两部分组成：一个细粒度的时间学习目的，以最大化短夹和长剪辑中的相应时间嵌入之间的相似性，以及持续的时间学习目标，以将两个剪辑的全局嵌入在一起。我们的研究揭示了时间粒度与三个主要发现的影响。 1）不同的视频任务可能需要不同时间粒度的特征。 2）有趣的是，广泛认为需要时间感知的一些任务实际上可以通过时间持久的功能来解决。 3）TEG的灵活性对8个视频基准测试产生最先进的结果，在大多数情况下优于监督预训练。

在多机器人合作（MRC）系统中部署移动边缘计算（MEC）部署是在能耗和实现延迟方面完成任务的有效方法。然而，需要共同考虑计算和通信资源以充分利用MEC技术所带来的优势。在本文中，研究了多个机器人协作完成时间关键任务的情况，其中智能主机器人（MR）充当边缘服务器，以向多个从机器人（SRS）提供服务，并且SRS负责环境传感和数据收集。为了节省能源并延长系统的函数时间，提出了两种方案，分别优化计算和通信资源。在第一种方案中，SRS的能量消耗最小化和平衡，同时保证在时间约束下完成任务。在第二种方案中，不仅可以消耗能耗，而且认为SRS的剩余能量被认为是增强系统的鲁棒性。通过分析和数值模拟，我们证明即使第一策略可以保证对总SRS能耗的最小化，MRC系统的函数时间比第一个策略更长。